Tại hội nghị Dân chủ năm 1960, Johnson để thua trong cuộc chạy đua vào Nhà Trắng, John F. Kennedy, 809 phiếu bầu của Kennedy so với 409 phiếu bầu của Johnson. Sau đó, ông làm nhiều người ngạc nhiên cả trong và ngoài đảng khi ông chấp nhận lời mời của Kennedy làm Phó Tổng thống. Vượt qua nỗi thất vọng khi không đứng đầu cuộc bỏ phiếu, ông vận động mạnh mẽ và nhiều nhà quan sát cảm thấy rằng nếu không có sự hiện diện của ông, Kennedy không thể có phiếu đại cử tri ở các bang Texas, Louisiana và Carolina, điều cần thiết cho chiến thắng của ông trước ứng cử viên đảng Cộng hòa, Richard Nixon.

Johnson thường không thoải mái trong vai trò phó Tổng thống. Kiến thức chính trị về Quốc hội của ông hầu như không được sử dụng, mặc dù Kennedy không thể vượt qua chương trình lập pháp của riêng mình. Mặc dù ông phục vụ trong Hội đồng An ninh Quốc gia và được bổ nhiệm làm chủ tịch của một số ủy ban quan trọng như Hội đồng Hàng không và Vũ trụ Quốc gia, Hội đồng Tư vấn Quân đoàn Hòa bình và Ủy ban Cơ hội Việc làm Bình đẳng của Tổng thống, Johnson coi hầu hết các nhiệm vụ của mình là công việc bận rộn, và ông đã bị thuyết phục rằng tổng thống đã phớt lờ ông. Nỗi thất vọng của ông được thể hiện bởi sự khinh bỉ rõ ràng của một số thành viên nổi tiếng trong chính quyền Kennedy. Anh trai của tổng thống, Tổng chưởng lý Robert F. Kennedy, người sau này đánh giá LBJ là một người bỉ ổi và thô thiển từ Texas.